¿De dónde surge la posición absoluta en Transformers decoder-only?
A pesar de codificar solo desplazamientos relativos, los Transformers con RoPE filtran posición absoluta. El artículo revela dos fuentes: causal mask y residual stream. Descúbrelo.
#ntk scaling